Petit guide de la MESUTE d'impact 


E 5 beta.gouv.fr 


race Ra re 


à qui S adresse ce guide 


pour coach 


- se former à définir les mesures d'impact 
-__S’aligner sur la démarche SE 
- avoir des éléments/ canvas à réutiliser en atelier avec un intra 


Objectifs (Damien) 


- remettre en perspective la nécessité de la mesure d'impact 
- parler un langage commun 
- proposer quelques outils (+ateliers) aux équipes / cycle de vie des SE 


Partir d'un 
BON PROBLÈME 


Partir d’un bon problème 


UN BON PROBLÈME : 


Gains associés à la 
réduction ou disparition >> Investissement 
des conséquences à consentir 
du problème 
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Partir d’un bon problème 


Un BON 
PROBLÈME Réel 


Majeur  Actionnable 


EE bcrgouvr 


RÉPUBLIQUE FRANÇAISE 


Partir d’un bon problème 


Lien présentation complète 


Ô QUESTIONS 


pour vous aider à identifier un bon problème 


ne 


Réalité du problème (basé sur des faits) ? 
Souffrance (conséquences) liée au problème 7? 
Nombre de personnes impactées ? 

Fréquence du problème ? 

Evolution du problème avec le temps ? 
Adressabilité (granularité du problème) ? 
Clarté du problème ? 

Conscientisation par les usagers”? 

Existence de solutions ? 
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Partir d’un bon problème 


PROBLÈME 


- Un problème pour qui (quelle population cible) ? 
- Nombre d'usagers impactés ? 

- Fréquence du problème ? 

- donnez des chiffres ! 


A quel moment 
l’usager rencontre-t-il 


Hi ce problème ? Insistez sur la 
n souffrance : 
—) Quelle étape de son le préjudice social / 
<a parcours ? environnemental / 
O économique 


Quels facteurs 
déclenchants ? 


Source : rexelfoundation.com 
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CONSEQUENCES 


Majeur “Actionnable 
jé 


Exemple 


Près de 4 millions de ménages français vivent en 
situation de précarité énergétique. 
(dédiant plus de 10% de leurs revenus aux factures de fluide) 


Logement peu économique 


Manque de connaissances 
sur les bonnes pratiques 
de consommation de l’eau 
et de l'énergie 


Difficultés financières 


accrues 


Impacts sur la 


santé 


(lié au froid) 


Isolement social 


Manque de confort dans le 
logement 
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Identifier ses activités clés 


« 
= < 


IE HA 
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Bien définir sa solution 


POURQUOI VOUS VOUS BATTEZ ? 


La raison d’être de votre solution 


AVEC QUELLES FINALITÉS ? 


Vos 2,3 enjeux pour traiter les principales causes et 


conséquences du problème : 
de leur consommation 


CONCRÈTEMENT VOUS FAITES QUOI ? 


Vos activités clés* (sous quelle forme ?) pour Les aider à comprendre 


obtenir des premiers résultats en six mois [Sur censemmetonet 
p leurs factures 


(*) Vos activités clés ne sont pas uniquement les fonctionnalités de votre application 


Rendre les ménages acteurs 


Exemple 


Développer les 
connaissances des 
ménages en matière de 
consommation 


Lutter contre la précarité énergétique 


fluides 


Faire baisser les factures de 


Réaliser de petits 
travaux et installer du 
matériel économique 
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Bien définir sa solution 


Grâce à [forme / nature de la solution] + [nom du produit] 
nous aidons [une population cible] 

souffrant [d'un problème] 

en leur permettant [d'atteindre certaines finalités] 


grâce à [la mise en place d'activités clés] 
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Investissement et redevabilité 


Bi ll, 


RÉPUBLIQUE FRANÇAISE 


Rentabilité (privé) Impact (public) 


ROI 
très rarement 


financier 


= Social / Environnemental / 
etour sur ; 
Investissement Economique 


È 
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L'impact comme carburant de la construction 


Objectifs de résultats et non de moyens ou livrables 


ter impact Répétabilité Accélération 
réel (10-1k usagers) (100k+ usagers) 
(1-10 usagers aidés) O Q 00 O0 00 
0000 


Premiers succès (usager) *” Multiplication des succès Augmentation du niveau d'ambition 
Preuve d'impact locale V” Elargissement du terrain de jeu ” Alimentation de la machine 
Y _ Objectifs et modèle de métriques (moteur de croissance) 


 Généralisation des succès ! 


EF = beta.gouv.fr 


RÉPUBLIQUE FRANÇAISE FRANÇAIS! 


Comités d’investissement 


9 semaines 6 à 12 mois 6 à 24 mois 6 mois 


Investigation Construction Accélération Consolidation 


Go / No Go Comité d'investissement 
Lancement Startup # Tous les 6 mois 
d'État 


Des comités d'investissement semestriels 
- Passage aux phases suivantes (construction, accélération, consolidation) ; 


- Montant du refinancement ; 
-_ Stop ou encore ? 


Investissement basé sur l’atteinte d'objectifs en termes d’impact 
(logique coût / bénéfice, ratio “euro investi / impact déployé”) 
beta.gouv.fr 
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Investissement projet Vs Investissement produit 


27 —… Gestion projet traditionnelle (type cycle en V) 
— Gestion produit / Amélioration continue 


Je Phase projet 
w £ 
o 
= 8 
t_} 
© 
£& 
2 
[°x 
Lo) 
ps Valeur créée pour l'usager 
LA Ë Gestion projet traditionnelle (type cycle en V) 
co] 
LS | Gestion produit / Amélioration continue 
3 Condition Opérationne le) 
a PRESS ER E 
y - | 
8 
ÉSRCE Er - 2 
6 j j : 
er ty — 200k€ (en moyenne ) / Startup Temps (en mois) 


+engagent de refinancement si l'impact est avéré 
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La mesure au coeur de la 
Stratégie produit 


a ul 


PUBLIQUE FRANÇAISE 


La mesure au coeur de la stratégie produit 


Vision commune du système Alignement de l'équipe sur les 
V4 (language, objectifs et mesures) VA axes de travail prioritaires 


Mesure de la performance du Visibilité / Communication sur les résultats 
V4 produit dans son ensemble (V4 (équipe, usagers, prescripteurs et financeurs) 
(non siloté) mastartup/stats 


V4 Identification des manques et des 


Là Culture de la redevabilité 
rtunit 
FREE V (investissement / impact réel) 
(feedback rapide et amélioration continue) 
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sp 
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L'impact est l'ensemble des changements positifs ou 
négatifs, attendus ou inattendus, et durables engendrés par 
les activités clés mises en place. 


C'est-à-dire les résultats moins ce qui se serait passé quoi 
qu il arrive, sans notre intervention. 


Un impact peut être de nature environnementale, 
économique, sociale ou culturelle 


Source : rexelfoundation.com 
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Matrice d'impact 


Problème Solution Résultats 


Activités clés Impacts 
(Changements attendus ou inattendus liés aux 


activités) 


Qu'est ce qui va changer dans le réel ? 


Comment décrire le changement ? 


Nature d'impact 


- Direct / Indirect (attribuable à l’activité ?) 
- Court terme / Moy. terme / Long terme 
- Qualitatif / Quantitatif 


Objectif* 
Critères de succès, valeur seuil 
(*) Performance = résultats obtenus / objectifs fixés | 
; a à SE Le Mesure réelle 
Key Performance Indicators = Principaux indicateurs suivis 
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Matrice d'impact : exemple 


tique 


4 


Ménage en situation de précarité 
énergé 


Activités clés 


Les aider à comprendre leur 
consommation et leurs 
factures 


Amélioration de la situation 
économique du ménage 


Amélioration du confort, 
des conditions de vie dans 
le logement 


Impacts 
(Changements attendus ou inattendus) 


Meilleure compréhension des factures d'énergie. 


Direct Andireet 
Geukrt-terme- Moy. terme ÆLeng-terme 
Qualitatif Queantitatif 


- Economies réalisées 
- Plus d'indépendance : moins d'aides demandées aux 
associations caritatives et aux collectivités 


Direct Andireet 


Court terme / Moy. terme /Leng-terme 
Qtektatif} Quantitatif 


Froid / confort thermique / courant d'air / 
humidité / moisissure / aération 


Direct Andireet 
Court terme / Moy. terme /Leng-terme 
Qualitatif Quantitatif 


- Evolution du sentiment de compréhension des 
factures et de gestion des dépenses. 

- Jugement de consommation énergétique : 
préoccupante ? 


Source : Déclaratif familles 
Méthode : questionnaires qualitatifs 


- Part du revenu allouée au paiement des factures 
- Evolution des aides demandées 


Source : familles, fournisseurs énergie / bailleurs 
/CCAS 
Méthode : questionnaires qualitatifs 


Evolution de la sensation de confort général ; de 
froid ; courant d'air ; humidité ; aération. 


Source : Déclaratif familles 
Méthode : questionnaires qualitatifs 


beta.gouv.fr 
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Une démarche avant tout itérative 


Malheureusement, l’impact réel est souvent difficile à mesurer. 
Pour certaines équipes les changements se situent hors du produit et parfois sur 
le long terme (ex : réinsertion professionnelle durable). 


Accordez vous sur une mesure qualitative ou indirecte (dite « proxy »), mesurable 
dans l'immédiat. 

Ne pas chercher à tout prix la justesse, mais privilégier l'adaptation de la 
mesure à son contexte et ses moyens. 


La mesure de l'impact n’est pas un exercice statique mais dynamique. 
L'objectif de la mesure est d'indiquer l'effet attendu, de rendre des comptes, 
d'orienter des décisions budgétaire. Le bon niveau de justesse est celui qui 
remplit ces objectifs, ni plus ni moins. 


E = beta.gouv.fr 
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Des indicateurs 4A 


SSSS 


« Attribuable » : lié à une activité clé réalisée 
« Auditable » : ayant une méthode de mesure identifiée et réalisable 
« Accessible » : partagé par toute l'équipe et visible par le max de personnes 


« Actionnable » : permettant la prise de décision / l’action (sur quels critères / objectifs ?) 


On privilégie plutôt les ratios et les % au chiffres cumulés afin d'éviter les 
« métriques de vanité » (efficience interne) 


E = beta.gouv.fr 
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Des objectifs d’équipe en lien avec vos indicateurs 
V 
V 
V 
V 
V 


Inspiration : O.K.R. : 3 lettres Pour Passer de la Stratégie aux Résultats 


En lien avec vos indicateurs 4A (objectifs séparés des résultats) 
Ambitieux : sortez de votre zone de confort 

Idéalement, atteignable à -70% (un mauvais score n'est pas dramatique !) 
En nombres limités : MAX 5 objectifs en parallèle 


Évalués régulièrement pour vérifier leur atteinte 
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Différentes méthodes de mesure 


Choix de la méthode de mesure du changement et de l'attribution de ce 
changement en fonction du niveau de rigueur attendu et de vos moyens 


Méthode d'analyse du changement Analyse de l'attribution 
[_] Avant-Après 


[_] Avec groupe témoin* 
[_ } Aposteriori 


[_] Sans groupe témoin 


Modalité de collecte des données 
[_ |] Questionnaire en ligne 

[_] Questionnaire papier 

[_] Entretien téléphonique 

[_} Entretien en face à face 

| Autre 


Equipe / Personne responsable de la collecte 
Déploiement, produit, support utilisateurs. ? 


(*) Comparaison entre les individus recevant le service / produit et ceux ne le recevant pas 


Source : rexelfoundation.com = Æ beta.gouv/r 
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N =. 


CREDITS: Slidesgo, Flaticon, Freepik. beta.gouvfr 


Quels outils pour quelles phases ? 


Investigation 


Construction 


Accélération 


- Identifier un bon problème 
- Définir ses activités clés 
- Identifier les changements attendus (ambition) 


- Initialiser la matrice hypothèses / risques 


(*) Net Promoter Score. Demander à ses usagers s'ils 


recommanderaient votre service sur une échelle de 1 à 10. 


Initialement : 
- Prioriser ses tests avec la matrice 
hypothèses / risques 
- Caractériser ses 1ers indicateurs (règle des 4A) 
- Formaliser les méthodes de mesure 
(outils simples dans un 1er temps, ex : NPS*) 
- Fixer ses 1ers objectifs (critères de succès) 


- Finaliser la matrice d'impact 
- Instaurer les rituels de suivi 


Dans une deuxième phase (/répétabilité) : 

- Construire un modèle de métriques amont 
centré sur l'impact (métriques AARRI) 

- Mesurer les usages : Web analytics 


Ne pas chercher à tout prix la justesse, 
mais privilégier l'adaptation de la mesure à 
votre contexte. 


- Définir sa métrique Etoile du Nord 
(moteur de croissance) 


- Mettre en place une méthode plus 
rigoureuse de mesure de votre impact 
(calibrage par des cohortes, 
expérimentation randomisée.…) 


beta.gouv.fr 
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Partir d’un bon problème investigation 


PROBLÈME Exemple 


- Un problème pour qui (quelle population cible) ? RP ANRS 0 AN AUES ANS NEREER 
situation de précarité énergétique. 


- Nombre d'usagers impactés ? C'est à dire qui dédient plus de 10% de leurs revenus aux 
- Fréquence du problème ? factures de fluide. 
- donnez des chiffres ! 


[2] a de 
LL] Logement peu économique Difficultés financières 
O accrues 
A quel moment S 
u l’usager rencontre-t-il =) Impacts sur la santé 
Li] ce problème ? Insistez sur la ei (lié au froid) 
(T5) souffrance : NTT 
_ Quelle étape de son le préjudice social / (Ts) es Mes ee 
a parcours ? environnemental / Z D es Isolement social 
. . de consommation de l’eau 
O LEONE O et de l'énergie 
Quels facteurs O : 
déclenchants ? Manque de confort dans le 


logement 


Majeur MActionnable 
ide 


Source : rexelfoundation.com beta.gouv/fr 
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Identifier ses activites clés 


POURQUOI VOUS VOUS BATTEZ ? 


La raison d’être de votre solution 


AVEC QUELLES FINALITÉS ? 


Vos 2,3 enjeux (finalités) pour traiter les 


principales causes et conséquences du problème à 
de leur consommation 


CONCRÈTEMENT VOUS FAITES QUOI ? 


Vos activités clés* (sous quelle forme ?) pour Les aider à comprendre 


obtenir des premiers résultats en six mois [Sur censemmetonet 
p leurs factures 


(*) Vos activités clés ne sont pas uniquement les fonctionnalités de votre application 


Rendre les ménages acteurs 


Exemple 


Développer les 
connaissances des 
ménages en matière de 
consommation 


Lutter contre la précarité énergétique 


fluides 


Faire baisser les factures de 


Réaliser de petits 
travaux et installer du 
matériel économique 
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Matrice d'impact 


Problème Solution Résultats 


Problème Activités clés Impacts 


(Changements attendus ou inattendus liés aux 
activités) 


Qu'est ce qui va changer dans le réel ? 
Comment décrire le changement ? 


Source 


Où trouver l'information ? 


Méthode de mesure 


Comment le mesurer ? 


Objectif (cible)* ? 


M sell 
(*) Performance = résultats obtenus / objectifs fixés ue See 


Key Performance Indicators = Principaux indicateurs suivis 


Source : rexelfoundation.com E = beta.gouv.fr 
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Matrice hypothèses / risques 


Formaliser des hypothèses claires et vérifiables 

Tester les hypothèses les plus risquées (susceptibles de tuer votre produit) 
o Quel est le plus petit test envisageable, demain ? 

X Intégrer le suivi aux rituels d'équipe 


* * 


Risque critique pour la SE si 
hypothèse vérifiée 


1 1 î 
Traiter par plan I Hi 
2 } I 


d'action prioritaire 


l 

l 

l 

I Positionnement relatif des hypothèses 
I par rapport à une hypothèse initiale 

l 


Connu Inconnu 
(niveau d’information 
FA WA faible sur l'hypothèse) 
Ne rien faire F4 


(garder un modèle simple) 


beta.gouv.fr 
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Matrice hypothèses / risques 


Hypothèse sur l’acquisition / le déploiement 
ex : coûts d'acquisition insupportables, forte dépendance par rapport à un canal spécifique... 


Ÿ  Hypothèse sur l’usage / les comportements utilisateurs ou partenaires 
ex : comportements / usages susceptibles d'empêcher l'émergence de l'impact (fracture numérique ?) 


Hypothèse sur la faisabilité (incapacité à livrer votre proposition de valeur) 
ex : risques techniques, juridiques / légaux, moyens humains et financiers 


Hypothèse sur la valeur produite / perçue par les utilisateurs 
____ ex: gains / impact non avérés ou surestimés 


Hypothèse sur le portage / la gouvernance / l’ancrage institutionnel 
____ ex: manque de soutien des sponsors, scénario d'atterrissage incertain. 


E = beta.gouv.fr 
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DE Métriques AARRI 


Rétention 
Qu'est-ce-qui contribue à augmenter la fréquence / 
durée d'utilisation ? 
% d'utilisateurs toujours actifs après xx jours ? 


Acquisition 
Comment vous vous faites connaitre de vos 


utilisateurs (actions Bizdev tel, mails, SEO, SEA...) 
Quel coût d'acquisition moyen par utilisateur ? 


Activation 


Quelle est la première étape à 
valeur ajoutée pour l'utilisateur ? Im pact 
% d'utilisateurs réalisants un Qu'est ce qui va changer dans le réel ? 


cette étape ? 


Sources et inspirations : 
Pirate metrics AARRR : 
(Dave McClure) Recommandation 


https://www.linkedin.com/in/ashmaurya/ à : © 
Customer factory Quel est le mécanisme qui permet aux utilisateurs de 


(Ash Maurya) recommander votre produit / service ? 
linkedin.comin/davemcclurel Seaee Ven e >. beta.gouv.fr 
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Métriques AARRI 


W Construire une vision complète du système : alimentée et visible par toute l’équipe 
W 1 indicateur (4A) phare pour chaque étape 

VA Définir un objectif pour chaque indicateur : enjeu, se rapprocher du cas idéal 

W Mettre en avant les maillons faibles / opportunités (priorisation globale) 


V4 Intégrer le suivi aux rituels de l’équipe 
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Métrique Etoile du Nord 


Une métrique UNIQUE pour accélérer la croissance 


\ 
\ 
K V 


TZ 

À s re : 
7 Basée sur les comportements de vos utilisateurs qui 

conditionnent la croissance (future) de votre impact. 


\ 
ù En lien avec vos métriques AARRI. 
PA 


North Star metric (amplitude) : https://amplitude.com/blog/2018/03/21/product-north-star-metric E = beta.gouv.fr 
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Expérimentation contrôlée 


L'attribution peut être évaluée (par ordre de précision décroissante) via : 


-__Randomisation, en sélectionnant aléatoirement, parmi une population, les individus recevant le 
service / produit et ceux ne le recevant pas (témoins), de sorte à comparer l'évolution du groupe cible 
au groupe témoin constitué ; 

-  Matching, en formant des paires d'individus (un individu cible, un individu témoin) ayant des 
caractéristiques similaires et comparant leurs évolutions respectives ; 

- Constitution d’un groupe témoin (comparable avec le groupe cible) a posteriori ; 

-_ En interrogeant les cibles sur leur perception de l'attribution de ces changements. 


Techniquement, il n'est malheureusement pas toujours possible de disposer d'une baseline ou encore d’un 
groupe témoin. D'autre part, le recul disponible (changements durables ou apparaissant sur le long terme) 
ainsi que les moyens disponibles (temps, compétences*) peuvent aussi être limitants en termes de rigueur 
d'évaluation. 


(*) Un service statistique dans l'administration est souvent nécessaire. 


Source : rexelfoundation.com E = beta.gouv.fr 
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Expérimentation contrôlée 


Principes généraux sur l'administration d’un questionnaire : 


1) Déterminer la taille d'échantillon 

2) Sélectionner au hasard ces 50 % de répondants ; 

3) Vérifier que cet échantillon soit représentatif de la population cible (représentation des sexes par 
exemple) ; 

4) Administrer les questionnaires ; 

5) S'assurer après collecte que l'échantillon est représentatif de la population cible en vérifiant un 
certain nombre de caractéristiques clés inconnues au départ (répartition géographique, âge... et tout 
autre indicateur pertinent). Si ce n’est pas le cas, il sera nécessaire de redresser les données ou de 
relancer une vague de collecte 


(*) Pas de volontariat pour éviter les biais. EE = 
té + salué + Fraternité beta ” go uv.fr 


Libert 
RÉPUBLIQUE FRANÇAISE 


Expérimentation contrôlée 


Exemple La Bonne Boîte 


Les demandeurs d'emploi n'utilisant pas la Bonne Boîte ont une probabilité de retour à l'emploi à 5 mois de 
19,99%. En utilisant La Bonne Boîte, elle passe à 22,1% - +2 points, soit +11% (étude 2016 sur 2 cohortes 
de 100 000 individus). Ainsi, les chances de retrouver un emploi des 400 000 demandeurs d'emploi qui ont 
utilisé LBB depuis sa création jusqu’en septembre 2016 étaient de 2 points supérieures. Soit 8000 
personnes impactées positivement. 


En multipliant les coefficient d'impact par le nombre d’usages, nous obtenons une première idée de 
l’impact économique, social et environnemental du service. Dans notre exemple, la mesure est présentable 
en social (impact : 8000 personnes), mais aussi en économique : le “coût d’un chômeur” pour la collectivité 
est estimé autour de 3000€ (source Ministère du Travail). En connaissant le nombre de mois gagnés en 
moyenne par un utilisateur de LBB (ou en retenant un minimum, 1 mois, si on l’ignore), nous pouvons 
obtenir un impact normalisé en €, ici 24 M€. 
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Expérimentation contrôlée 


Exemple : Pandora 


Pandora, pour sa part, a tranché : il vaut mieux réduire la pub. Mais ce qui est intéressant ici n’est pas la 
conclusion, c'est la méthode. Pandora a mené une étude randomisée sur 35 millions d'abonnés, divisés en 
9 groupes soumis à des niveaux différents de publicité, dont les comportements ont été mesurés pendant 


21 mois. 
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Web analytics 


À compléter 


Web analytic 
Lien avec métriques de vanité : DAU, MAU... 
Test A/B ? 
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Exemples au sein de la 


DL HA. 


Exemples au sein de la communauté 


À compléter 


AARRI 
Exemple API / réutilisateur 
Métrique Etoile du Nord 
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contre-exemple 


Outillage 


DL HA. 


objections 


Matrice d'impact 


Raison d’être 


Les objectifs politiques 
l'Etat./administration 


e _L'indicateur : ce qu'on veut 
mesurer 

e La méthode : comment 

e La source : où on trouve 

l'information 


Les objectifs de 
politique 
publique 

Les indicateurs Les indicateurs 
d'effets d’impacts 
Atteinte 


des 
objectifs 


Se causes du Les leviers / Les impacts 
Le problème bien onctionnaltes ES Les effets induits ns pour les 
P du produit bénéficiaires 


Le problème important que l'on Les raisons pour lesquelles ce Les leviers sur lesquels joue l’ Les effets concrets générés par Les impacts de ces effets pour 
essaye de résoudre, au regard problème existe. équipe (avec notamment les la mise en oeuvre des les bénéficiaires permettant de 
des objectifs de politique fonctionnalités du produit) pour fonctionnalités. constater la résolution des 


publique. pour a Haras les causes du problème. 
causes du problème. 


Les impacts pour les bénéficiaires 
contribuent à résoudre le problème de 
départ. 


Problème Solution Résultats 


Raison d’être 
(Why ?) 


Les objectifs politiques 
l'Etat./administration 


e _ L'indicateur : ce qu'on veut 
mesurer 

e La méthode : comment 

e La source : où on trouve 

l'information 


Les objectifs de 
politique 
publique 

Les indicateurs Les indicateurs 
Atteinte d'effets d’impacts 


des 
objectifs 


. Se causes du Les leviers l . | Les impacts 
Le problème onctionnaltes ES Les effets induits ns pour les 
problème e HÉRPRRS 

du produit bénéficiaires 


Le problème important que l'on Les raisons pour lesquelles ce Les leviers sur lesquels joue l' Les effets concrets générés par Les impacts de ces effets pour 
essaye de résoudre, au regard problème existe. équipe (avec notamment les la mise en oeuvre des les bénéficiaires permettant de 
des objectifs de politique fonctionnalités du produit) pour fonctionnalités. constater la résolution des 


publique. pour essayer d'agir sur les causes du problème. 
causes du problème. 


Les impacts pour les bénéficiaires 
contribuent à résoudre le problème de 
départ. 


Problème (How ?) Solution (What ?) Résultats 
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no more digital bullshit 
Le Board, une planche de salut ? 
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North Star metric (amplitude) 
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